home *** CD-ROM | disk | FTP | other *** search
/ Internet Magazine 2003 Spring / INTERNET101.ISO / pc / software / windows / building / robot_manager / robotmanagersetup.exe / {app} / step2.qh < prev    next >
Encoding:
Text File  |  2002-11-25  |  1.4 KB  |  29 lines
  1. <P><B>Step 2 - Disallow</B><HR></P>
  2. <P>This is where you set up your disallow and allow rules for your web site.
  3.  Setting options here keeps spiders from indexing certain areas of your web
  4.  site. The first thing to do here is to group any spiders that will have
  5.  similar rules.</P>
  6. <br>
  7. <P><IMG src="idx:2"> <B>Important</B>
  8. <BR>
  9. To begin setting disallow rules, Robot-Manager needs to gather the Folder and
  10.  File list from your web site. Select Tools|Select Home Page Location from the
  11.  main menu.</P>
  12. <br>
  13. <P><B>Grouping Spiders</B>
  14. <BR>
  15. To group spiders with similar rules, use your mouse to drag-and-drop the spiders
  16.  creating parent/child relationships. All children of a parent spider inherit
  17.  the attributes of the parent spider. Selecting a child and setting any rules
  18.  sets the rules for the parent, which will apply to the other children as well.</P>
  19. <BR>
  20. <P><IMG src="idx:0"> <B>Notes</B>
  21. <br>
  22. <B>1.</B> Adding children to the 'All Spiders' spider is the same as leaving
  23.  those spiders out of the project. (i.e., not selecting them in Step 1)<BR>
  24. <B>2.</B> To disallow access to the entire site for the selected spider, click
  25.  the check box above the Folders and Disallow lists.<BR>
  26. <B>3.</B> When disallow access is checked, the Disallow list becomes an Allow
  27.  list. You can then check items in the list to allow access.<BR>
  28. <B>4.</B> Right-click the mouse for more options.</P>
  29.